Computational Argumentation for the Automatic Analysis of Argumentative Discourse and Human Persuasion

Tesis por compendio[ES] La argumentación computacional es el área de investigación que estudia y analiza el uso de distintas técnicas y algoritmos que aproximan el razonamiento argumentativo humano desde un punto de vista computacional. En esta tesis doctoral se estudia el uso de distintas técnicas propuestas bajo el marco de la argumentación computacional para realizar un análisis automático del discurso argumentativo, y para desarrollar técnicas de persuasión computacional basadas en argumentos. Con estos objetivos, en primer lugar se presenta una completa revisión del estado del arte y se propone una clasificación de los trabajos existentes en el área de la argumentación computacional. Esta revisión nos permite contextualizar y entender la investigación previa de forma más clara desde la perspectiva humana del razonamiento argumentativo, así como identificar las principales limitaciones y futuras tendencias de la investigación realizada en argumentación computacional. En segundo lugar, con el objetivo de solucionar algunas de estas limitaciones, se ha creado y descrito un nuevo conjunto de datos que permite abordar nuevos retos y investigar problemas previamente inabordables (e.g., evaluación automática de debates orales). Conjuntamente con estos datos, se propone un nuevo sistema para la extracción automática de argumentos y se realiza el análisis comparativo de distintas técnicas para esta misma tarea. Además, se propone un nuevo algoritmo para la evaluación automática de debates argumentativos y se prueba con debates humanos reales. Finalmente, en tercer lugar se presentan una serie de estudios y propuestas para mejorar la capacidad persuasiva de sistemas de argumentación computacionales en la interacción con usuarios humanos. De esta forma, en esta tesis se presentan avances en cada una de las partes principales del proceso de argumentación computacional (i.e., extracción automática de argumentos, representación del conocimiento y razonamiento basados en argumentos, e interacción humano-computador basada en argumentos), así como se proponen algunos de los cimientos esenciales para el análisis automático completo de discursos argumentativos en lenguaje natural.[CA] L'argumentació computacional és l'àrea de recerca que estudia i analitza l'ús de distintes tècniques i algoritmes que aproximen el raonament argumentatiu humà des d'un punt de vista computacional. En aquesta tesi doctoral s'estudia l'ús de distintes tècniques proposades sota el marc de l'argumentació computacional per a realitzar una anàlisi automàtic del discurs argumentatiu, i per a desenvolupar tècniques de persuasió computacional basades en arguments. Amb aquestos objectius, en primer lloc es presenta una completa revisió de l'estat de l'art i es proposa una classificació dels treballs existents en l'àrea de l'argumentació computacional. Aquesta revisió permet contextualitzar i entendre la investigació previa de forma més clara des de la perspectiva humana del raonament argumentatiu, així com identificar les principals limitacions i futures tendències de la investigació realitzada en argumentació computacional. En segon lloc, amb l'objectiu de sol$\cdot$lucionar algunes d'aquestes limitacions, hem creat i descrit un nou conjunt de dades que ens permet abordar nous reptes i investigar problemes prèviament inabordables (e.g., avaluació automàtica de debats orals). Conjuntament amb aquestes dades, es proposa un nou sistema per a l'extracció d'arguments i es realitza l'anàlisi comparativa de distintes tècniques per a aquesta mateixa tasca. A més a més, es proposa un nou algoritme per a l'avaluació automàtica de debats argumentatius i es prova amb debats humans reals. Finalment, en tercer lloc es presenten una sèrie d'estudis i propostes per a millorar la capacitat persuasiva de sistemes d'argumentació computacionals en la interacció amb usuaris humans. D'aquesta forma, en aquesta tesi es presenten avanços en cada una de les parts principals del procés d'argumentació computacional (i.e., l'extracció automàtica d'arguments, la representació del coneixement i raonament basats en arguments, i la interacció humà-computador basada en arguments), així com es proposen alguns dels fonaments essencials per a l'anàlisi automàtica completa de discursos argumentatius en llenguatge natural.[EN] Computational argumentation is the area of research that studies and analyses the use of different techniques and algorithms that approximate human argumentative reasoning from a computational viewpoint. In this doctoral thesis we study the use of different techniques proposed under the framework of computational argumentation to perform an automatic analysis of argumentative discourse, and to develop argument-based computational persuasion techniques. With these objectives in mind, we first present a complete review of the state of the art and propose a classification of existing works in the area of computational argumentation. This review allows us to contextualise and understand the previous research more clearly from the human perspective of argumentative reasoning, and to identify the main limitations and future trends of the research done in computational argumentation. Secondly, to overcome some of these limitations, we create and describe a new corpus that allows us to address new challenges and investigate on previously unexplored problems (e.g., automatic evaluation of spoken debates). In conjunction with this data, a new system for argument mining is proposed and a comparative analysis of different techniques for this same task is carried out. In addition, we propose a new algorithm for the automatic evaluation of argumentative debates and we evaluate it with real human debates. Thirdly, a series of studies and proposals are presented to improve the persuasiveness of computational argumentation systems in the interaction with human users. In this way, this thesis presents advances in each of the main parts of the computational argumentation process (i.e., argument mining, argument-based knowledge representation and reasoning, and argument-based human-computer interaction), and proposes some of the essential foundations for the complete automatic analysis of natural language argumentative discourses.This thesis has been partially supported by the Generalitat Valenciana project PROME- TEO/2018/002 and by the Spanish Government projects TIN2017-89156-R and PID2020- 113416RB-I00.Ruiz Dolz, R. (2023). Computational Argumentation for the Automatic Analysis of Argumentative Discourse and Human Persuasion [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/194806Compendi

Detecting Argumentative Fallacies in the Wild:Problems and Limitations of Large Language Models

Previous work on the automatic identification of fallacies in natural language text has typically approached the problem in constrained experimental setups that make it difficult to understand the applicability and usefulness of the proposals in the real world. In this paper, we present the first analysis of the limitations that these data-driven approaches could show in real situations. For that purpose, we first create a validation corpus consisting of natural language argumentation schemes. Second, we provide new empirical results to the emerging task of identifying fallacies in natural language text. Third, we analyse the errors observed outside of the testing data domains considering the new validation corpus. Finally, we point out some important limitations observed in our analysis that should be taken into account in future research in this topic. Specifically, if we want to deploy these systems in the Wild

Detecting Argumentative Fallacies in the Wild:Problems and Limitations of Large Language Models

Previous work on the automatic identification of fallacies in natural language text has typically approached the problem in constrained experimental setups that make it difficult to understand the applicability and usefulness of the proposals in the real world. In this paper, we present the first analysis of the limitations that these data-driven approaches could show in real situations. For that purpose, we first create a validation corpus consisting of natural language argumentation schemes. Second, we provide new empirical results to the emerging task of identifying fallacies in natural language text. Third, we analyse the errors observed outside of the testing data domains considering the new validation corpus. Finally, we point out some important limitations observed in our analysis that should be taken into account in future research in this topic. Specifically, if we want to deploy these systems in the Wild

Simulador de entornos sociales basado en agentes para analizar flujos de información

In this final degree thesis is explained the development of a multi agent system simulator with the objective of analyzing data flows along a social network. First of all a study of the state of the art regarding multi agent simulators has been made. Over the chosen technologies as a starting point, it have been made changes, improvements and adapted to the area of this work. It have been also developed some models of intelligent agents that will define the behavior of the simulation. Finally, the simulator has been validated with two different study cases.[ES] En este trabajo de fin de grado se realiza el desarrollo de un simulador basado en agentes con el fin de analizar flujos de información en una red social. Para ello se han analizado y estudiado las herramientas de simulación existentes que más podían aproximarse a las necesidades del trabajo. Sobre las tecnologías escogidas se ha realizado una serie de modificaciones, mejoras y adaptaciones para adecuarlas al ámbito de las redes sociales. También se ha realizado el modelado y la implementación de varios tipos de agentes que determinan el transcurso de la simulación. Finalmente la herramienta de simulación desarrollada ha sido validada mediante dos casos de estudio diferentes.Ruiz Dolz, R. (2018). Simulador de entornos sociales basado en agentes para analizar flujos de información. http://hdl.handle.net/10251/107506TFG

VivesDebate: A new annotated multilingual corpus of argumentation in a debate tournament'.

The application of the latest Natural Language Processing breakthroughs in computational argumentation has shown promising results, which have raised the interest in this area of research. However, the available corpora with argumentative annotations are often limited to a very specific purpose or are not of adequate size to take advantage of state-of-the-art deep learning techniques (e.g., deep neural networks). In this paper, we present VivesDebate, a large, richly annotated and versatile professional debate corpus for computational argumentation research. The corpus has been created from 29 transcripts of a debate tournament in Catalan and has been machine-translated into Spanish and English. The annotation contains argumentative propositions, argumentative relations, debate interactions and professional evaluations of the arguments and argumentation. The presented corpus can be useful for research on a heterogeneous set of computational argumentation underlying tasks such as Argument Mining, Argument Analysis, Argument Evaluation or Argument Generation, among others. All this makes VivesDebate a valuable resource for computational argumentation research within the context of massive corpora aimed at Natural Language Processing tasks

A Cascade Model for Argument Mining in Japanese Political Discussions: the QA Lab-PoliInfo-3 Case Study

The rVRAIN team tackled the Budget Argument Mining (BAM) task, consisting of a combination of classification and information retrieval sub-tasks. For the argument classification (AC), the team achieved its best performing results with a five-class BERT-based cascade model complemented with some handcrafted rules. The rules were used to determine if the expression was monetary or not. Then, each monetary expression was classified as a premise or as a conclusion in the first level of the cascade model. Finally, each premise was classified into the three premise classes, and each conclusion into the two conclusion classes. For the information retrieval (i.e., relation ID detection or RID), our best results were achieved by a combination of a BERT-based binary classifier, and the cosine similarity of pairs consisting of the monetary expression and budget dense embeddings.Comment: Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, June 14-17, 2022 Tokyo Japa

Un sistema de argumentación para ayudar a los usuarios con la gestión de la privacidad en las redes sociales

[ES] El uso de las redes sociales acapara gran parte del tiempo de ocio de las personas en estos últimos años. Las redes sociales, habitualmente de carácter gratuito, proporcionan a sus usuarios un entorno donde interactuar, chatear y compartir información con los demás usuarios. Normalmente, las redes sociales proporcionan una serie de mecanismos de control de la privacidad del propio usuario. Estos mecanismos suelen estar ubicados en los ajustes o en la configuración del perfil. Sin embargo, gran cantidad de usuarios desconoce la existencia de estos mecanismos o directamente los ignora debido a la poca importancia que se le suele dar a la privacidad. Es de gran importancia por lo tanto, concienciar a estos usuarios sobre la relevancia de su propia privacidad, así como avisar de potenciales disputas o violaciones de privacidad, que podrían suceder al compartir un determinado contenido en una red social, antes de ser publicado. En este trabajo se propone una aproximación para lidiar con este problema. Un sistema argumentativo capaz de razonar al autor de una publicación sobre los motivos por los que no se debería realizar dicha publicación (en caso de detectar algún tipo de conflicto). Este sistema, además de ser desarrollado e implementado, también será integrado y utilizado en una red social de carácter educativo, PESEDIA.[EN] The use of social networks consumes most of the leisure time of the people these last years. The social networks, usually free to use, give the users an environment where interact, chat and share information with other users. Usually, the social networks provide the user with some tools that allow to control the own user's privacy. These tools are usually located in the settings or the profile configuration. However, most of the users does not know about them or directly ignores their existence due to the low concern regarding its own privacy. Therefore, it is very important to raise users awareness regarding its own privacy. In order to achieve that, it is interesting to warn the user of potential disputes or privacy violations that may arise when sharing some specific content, before being shared. This work proposes an approximation to deal with this problem. An argumentation system able to give the reasons of why is not a good idea to share (in the case of detecting any type of violation) some specific content. In addition to the development and implementation, this system will also be integrated and used in an educational social network, PESEDIA.[CA] L’ús de les xarxes socials empra gran part del temps d’oci de les persones en aquestos darrers anys. Les xarxes socials, normalment de tipus gratuït, proporcionen els seus usuaris un entorn on interactuar, xatejar i compartit tot tipus d’informació amb la resta d’usuaris. Habitualment, les xarxes socials proporcionen una serie de mecanismes de control de la privadesa del propi usuari. Aquestos mecanismes solen estar ubicats als ajustos o a la configuració del perfil. No obstant això, gran part dels usuaris desconeix l’existència d’aquestos mecanismes o directament els ignora degut a la poca importància que li solem donar a la pròpia privadesa. Aleshores, es de gran importància conscienciar aquestos usuaris sobre la rellevància de la seua privadesa, a la vegada que s’avisa de potencials disputes o violacions de privacitat que podrien ocórrer al compartir un contingut determinat a una xarxa social, abans de ser publicat. En aquest treball es proposa una forma de confrontar aquest problema. Un sistema argumentatiu capaç de raonar a l’autor d’una publicació entorn els motius pels quals no es deuría realitzar la publicació (en cas de detectar qualsevol tipus de conflicte). Aquest sistema, a més de ser desenvolupat i implementat, també serà integrat i utilitzat a una xarxa amb objectius educatius, PESEDIA.Ruiz Dolz, R. (2019). An Argumentation System for Assisting Users with Privacy Management in Online Social Networks. http://hdl.handle.net/10251/129949TFG

NLAS-multi: A Multilingual Corpus of Automatically Generated Natural Language Argumentation Schemes

The multilingual corpus of natural language argumentation schemes (NLAS-multi) consists of 3,810 natural language argumentation schemes of which 1,893 are in English and 1,917 in Spanish. It has a total of 253,516 words distributed in 118,493 words in English and 135,023 words in Spanish. In terms of inferences, our corpus has a total of 7,964 (3,949 in English and 4,015 in Spanish). Furthermore, the NLAS-multi corpus contains a total of 23,781 conflict relations between arguments in the same topic

Transformer-Based Models for Automatic Identification of Argument Relations: A Cross-Domain Evaluation

Argument Mining is defined as the task of automatically identifying and extracting argumentative components (e.g., premises, claims, etc.) and detecting the existing relations among them (i.e., support, attack, rephrase, no relation). One of the main issues when approaching this problem is the lack of data, and the size of the publicly available corpora. In this work, we use the recently annotated US2016 debate corpus. US2016 is the largest existing argument annotated corpus, which allows exploring the benefits of the most recent advances in Natural Language Processing in a complex domain like Argument (relation) Mining. We present an exhaustive analysis of the behavior of transformer-based models (i.e., BERT, XLNET, RoBERTa, DistilBERT and ALBERT) when predicting argument relations. Finally, we evaluate the models in five different domains, with the objective of finding the less domain dependent model. We obtain a macro F1-score of 0.70 with the US2016 evaluation corpus, and a macro F1-score of 0.61 with the Moral Maze cross-domain corpus.Comment: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl